Neural dynamics of perceptual detection under temporal uncertainty

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Facultad de Ciencias, Departamento de Física Teórica. Fecha de lectura: 17-10-2014Among the large number of functions that compose our mental life, perception is arguably the most fundamental one. Perception is the cognitive process by which external sensory signals are transformed into meaningful information that represents our environment and guide decisions and behavior. What is the neural basis of this transformation? Several key issues limit our understanding of the neurobiology of perception and perceptual decision-making. First, the neural codes used by the brain to represent sensory information are still unclear. Second, perceptual decisions presumably arise from the coordinated activity of populations of neurons. However, the analytical tools best suited to study decision signals in neuronal populations remain unknown. Third, perception is not a passive process. On the contrary, external stimuli and internal brain states dynamically interact to give rise to percepts. In this thesis, I address these questions using computational simulations and neural data recorded while monkeys perform a vibrotactile detection task. Three fundamental issues are examined: (1) the dynamics of correlated variability, (2) the decoding of decisions from neural population's activity and (3) the neural mechanisms underlying the use of temporal expectations. I study the dynamics of choice-conditioned noise correlations and show that they reveal an internal component of the decision-making process. By developing novel statistical measures, I quantify how predictive is the activity of populations of cortical neurons about the subject's decision. As a result, I nd that a speci c subset of premotor cortex neurons unequivocally predict the animal's decision report. The vibrotactile detection task studied in this work requires subjects to make decisions under temporal uncertainty. I nd that subjects bene t from temporal expectations by modulating their response criterion over the course of a trial. I show that this modulation is represented by the population dynamics of premotor cortex neurons. A trained recurrent neural network reproduces the experimental ndings and reveals the dynamical mechanism implementing a exible response criterion. Knowledge about the probability of stimulation over time, acquired during training, is intrinsically encoded in the neural population activity, allowing a dynamic control of the response criterion to improve performanceEntre el gran número funciones cognitivas que componen nuestra vida mental, la percepción es, quizá, la más fundamental. La percepción es el proceso mediante el cual el cerebro interpreta, organiza y da sentido a la gran cantidad de señales sensoriales que recibe del mundo exterior. De esta forma, la información sensorial es transformada en una representaci ón relevante de nuestro entorno, útil para guíar nuestro comportamiento. ¿Cuál es el correlato neuronal de esta transformación? Hay varias cuestiones clave que limitan nuestro entendimiento de la neurobiología de la percepción y de las decisiones perceptuales. En primer lugar, el código neuronal que el cerebro utiliza para representar información sensorial no es del todo claro. En segundo lugar, las decisiones presumiblemente emergen de la actividad conjunta de un gran número de neuronas. Sin embargo, las herramientas analíticas más adecuadas para estudiar estas señales poblacionales todava no son enteramente conocidas. En tercer lugar, la percepción no es un proceso pasivo. Por el contrario, los estímulos externos y los estados internos del cerebro interactúan dinámicamente para construir nuestra experiencia subjetiva. En esta tesis, abordo estos asuntos utilizando simulaciones computacionales y analizando registros neuronales obtenidos en monos mientras realizan una tarea de detección vibrotáctil. Tres cuestiones fundamentales son examinadas: (1) la dinámica de la variabilidad neuronal correlacionada, (2) la decodi_- cación de señales de decisión a partir de la actividad de poblaciones de neuronas y (3) los mecanismos neuronales que subyacen a la incorporaci ón de expectativas temporales en el proceso de decisión. Estudiando la dinámica de las correlaciones del ruido, muestro que éstás revelan una componente interna del proceso de decisión. Mediante el desarrollo de nuevas medidas estadísticas, cuantifico el poder predictivo de la actividad de conjuntos de neuronas acerca de las decisiones del sujeto. Como resultado, encuentro que la decisión del animal puede predecirse inequívocamente a partir de la actividad de poblaciones específicas de neuronas de la corteza premotora. La tarea de detección estudiada en esta tesis require que los animales tomen decisiones en un contexto de incertidumbre temporal. En esta tesis muestro que los sujetos construyen y utilizan expectativas temporales para aumentar su rendimiento mediante la modulación de su criterio de respuesta a través del tiempo. Además, encuentro que la actividad de las neuronas de la corteza premotora es consistente con un mecanismo neuronal específico para implementar esta modulación. Finalmente, derivo un modelo de red recurrente que reproduce los resultados experimentales y permite estudiar la estructura dinámica subyacente. El conocimiento previo acerca de la probabilidad de estimulación como función del tiempo, adquirido durante el entrenamiento, puede ser intrínsecamente codificado por una población de neuronas, permitiendo el control dinámico del criterio de durante el proceso de decisión

Confronto Serrato con San Servolo : Liberare (l’intelligenza) le energie del mondo vegetale

Confronto Serrato a San Servolo Liberare (l’intelligenza) le energie del mondo vegetale Lo scenario ipotizzato per San Servolo fornisce un’occasione di riflessione sul Progetto, ed esprime due ipotesi programmatiche di lavoro che, nel tempo, hanno avuto varie sperimentazioni sia dirette sia attraverso occasioni didattiche. La prima nasce dalla considerazione che ogni occasione progettuale implica una forma di modificazione violenta dell’ambiente preesistente (Carnevale, Giani 2013, p. 25). Il rapporto che abbiamo stabilito con il mondo naturale è stato caratterizzato dall’imposizione di un ordine. Parimenti, l’utilizzo delle risorse espresse dal mondo vegetale si è basato su sfruttamento e snaturalizzazione forzata (Powers 2018). Dare voce a una sensibilità che va diffondendosi in questo terzo millennio, può essere un impegno che coinvolga anche il Progetto, sia pure in forma di simboliche proposte di risarcimento (Marini 2020, pp. 10-17; 2021, pp. 7-21). Questa prima considerazione indirizza la scelta per San Servolo: liberare le energie (l’intelligenza) del mondo vegetale, senza alcun limite. Ritagliando la possibilità, per noi umani, di osservare i processi di violenta metabolizzazione che si attuerebbero nei confronti delle aree dismesse. Abbiamo perciò immaginato un’ideale divisione dell’ambiente concluso, dell’isola. Una netta separazione tra due mondi: quello dell’ordine e quello del disordine. L’ordine imposto dall’uomo e l’ordine imposto dalla Selva che, liberata, saprà ristabilire nel tempo. Secondo questa tesi, la divisione, per la carica concettuale di cui è foriera, dovrebbe essere netta; una linea costruita, continua, in grado di attraversare manufatti e luoghi; trasparente, invalicabile. L’osservazione del fenomeno di riappropriazione inizierebbe con il mutuo riconoscimento dei due universi, in una atmosfera sospesa, di reciproca libertà. Una alleanza alternativa. La seconda ipotesi nasce dalla considerazione che il caso ha momento nello sviluppo di ogni progetto e che le procedure di avvicinamento alle scelte figurative tendono a cercare una qualche necessità attraverso varie forme di analisi (Monod 1970). Come se l’allineare elementi oggettivi potesse ridurre le responsabilità autoriali delle scelte formali. Una ricerca, questa, che ha raggiunto livelli teorici anche molto alti, e sofisticate espressioni descrittive tanto da avere, talora, valenza estetica autonoma, indipendente dal progetto cui si riferivano (Stravinsky 1939). Resta, comunque, l’assunzione di responsabilità, di un atto iniziale che segni l’avvio del percorso progettuale. Atto iniziale che potremmo immaginare come “stato nascente” (Carnevale 2021, pp. 11-20). Il caso, la scelta casuale, può essere ridimensionata e accettata, nella misura in cui non le si attribuisca un valore determinante ma soltanto pre-testuale (Carnevale 2017, pp. 7-13). Un espediente per la messa in moto di processi razionali e controllabili per cui “conviene”, ai fini di un rapido avvio, affidarsi a spunti occasionali (Poe 1846). Secondo questa linea teorica, per l'intervento a San Servolo sarebbe stata necessaria una scelta geometrica iniziale cui appoggiare l’asse di divisione e demarcazione. Il “taglio” dell’isola; una inedita soglia, giustapposizione ma anche sottrazione. Un percorso in trincea avrebbe sfiorato la selva, attraversato tre edifici (“tagliati” ciascuno con diverso destino), diviso l’isola. Il taglio avrebbe rappresentato una equilibrata ripartizione tra un territorio che resta domestico e un altro che viene lasciato alla selva. Manufatti preesistenti (tagliati e interi) inclusi. Un nuovo territorio da osservare. Si immagina infatti che assistere – in sicurezza attraverso pareti in cristallo – tanto alla crescita della selva quanto alla distruzione graduale di reliquati da parte di vegetazioni aggressive, possa avere valenze spettacolari. Così come è nella esperienza estetica di ognuno e nelle tante affascinate descrizioni, da Piranesi a Goethe a Ruskin. E forse, anche, implicazioni scientifiche. Con le sue geometrie ortogonali, il complesso conventuale che ha generato l’isola ha fornito il pre-testo (e l’origine) per tracciare l’asse divisorio. Una seconda direttrice è stata suggerita dal fronte acqueo artificiale, sul lato orientale dell’isola. La convergenza delle due direzioni individua un punto, fuori dell’isola, che lega il caso alla necessità: una inedita passeggiata nella laguna e un belvedere che consentirebbe di apprezzare il confronto in fieri tra due mondi che si osservano, con curiosità, liberi, alla pari. Un confronto serrato

A Comprehensive Microstructural and Compositional Characterization of Allogenic and Xenogenic Bone: Application to Bone Grafts and Nanostructured Biomimetic Coatings

Bone grafts and bone-based materials are widely used in orthopedic surgery. However, the selection of the bone type to be used is more focused on the biological properties of bone sources than physico-chemical ones. Moreover, although biogenic sources are increasingly used for deposition of biomimetic nanostructured coatings, the influence of specific precursors used on coating’s morphology and composition has not yet been explored. Therefore, in order to fill this gap, we provided a detailed characterization of the properties of the mineral phase of the most used bone sources for allografts, xenografts and coating deposition protocols, not currently available. To this aim, several bone apatite precursors are compared in terms of composition and morphology. Significant differences are assessed for the magnesium content between female and male human donors, and in terms of Ca/P ratio, magnesium content and carbonate substitution between human bone and different animal bone sources. Prospectively, based on these data, bone from different sources can be used to obtain bone grafts having slightly different properties, depending on the clinical need. Likewise, the suitability of coating-based biomimetic films for specific clinical musculoskeletal application may depend on the type of apatite precursor used, being differently able to tune surface morphology and nanostructuration, as shown in the proof of concepts of thin film manufacturing here presented

Development and Evaluation of the Magnetic Properties of a New Manganese (II) Complex: A Potential MRI Contrast Agent

Magnetic resonance imaging (MRI) is a non-invasive powerful modern clinical technique that is extensively used for the high-resolution imaging of soft tissues. To obtain high-definition pictures of tissues or of the whole organism this technique is enhanced by the use of contrast agents. Gadolinium-based contrast agents have an excellent safety profile. However, over the last two decades, some specific concerns have surfaced. Mn(II) has different favorable physicochemical characteristics and a good toxicity profile, which makes it a good alternative to the Gd(III)-based MRI contrast agents currently used in clinics. Mn(II)-disubstituted symmetrical complexes containing dithiocarbamates ligands were prepared under a nitrogen atmosphere. The magnetic measurements on Mn complexes were carried out with MRI phantom measurements at 1.5 T with a clinical magnetic resonance. Relaxivity values, contrast, and stability were evaluated by appropriate sequences. Studies conducted to evaluate the properties of paramagnetic imaging in water using a clinical magnetic resonance showed that the contrast, produced by the complex [Mn(II)(L’)2] × 2H2O (L’ = 1.4-dioxa-8-azaspiro[4.5]decane-8-carbodithioate), is comparable to that produced by gadolinium complexes currently used in medicine as a paramagnetic contrast agent

Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback

An important goal in artificial intelligence is to create agents that can both interact naturally with humans and learn from their feedback. Here we demonstrate how to use reinforcement learning from human feedback (RLHF) to improve upon simulated, embodied agents trained to a base level of competency with imitation learning. First, we collected data of humans interacting with agents in a simulated 3D world. We then asked annotators to record moments where they believed that agents either progressed toward or regressed from their human-instructed goal. Using this annotation data we leveraged a novel method - which we call "Inter-temporal Bradley-Terry" (IBT) modelling - to build a reward model that captures human judgments. Agents trained to optimise rewards delivered from IBT reward models improved with respect to all of our metrics, including subsequent human judgment during live interactions with agents. Altogether our results demonstrate how one can successfully leverage human judgments to improve agent behaviour, allowing us to use reinforcement learning in complex, embodied domains without programmatic reward functions. Videos of agent behaviour may be found at https://youtu.be/v_Z9F2_eKk4